关于 HDFS和Yarn HA 的了解

1.企业中为什么要用集群:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
每一个角色都是一个进程:
HDFS:
NN:老大(接受读写流程请求)Master
SNN:1h checkpoint secondary(每隔一小时都会备份NN中的editlog文件合并成新
的fsimage)
DN:存储数据块和数据块的校验和

YARN:
RM 老大 master
NM
(注:主从架构 master-slave
比如hdfs读写请求都是先NN节点;每一条请求都要先经过NN,如果单节点NN挂了,那么就不
能提供对外服务,所以我们要用到集群的概念。
RM也是一样。)

==但是:hbase 读写请求不是经过老大master,这点需要注意,那什么经过master,就是建表语句,删表语句)==

2.企业生产中的配置:

1
2
3
4
5
6
7
8
9
10
11
12
13
如果只有一台节点,如果NN挂了,那么就无法对外提供访问了。
企业中我们一般会配置两个NN节点,(实时的,任何时候只有一台active对外,另一台standby实时
备份,随时准备着从stanby切换成active状态,对外提供服务。)
NN1:active hdfs://ip1:9000/ 代码 shell脚本
NN2:standby hdfs://ip2:9000/
(假设NN1在11点挂了,就在那一霎那,NN2会瞬间切换成actice,对外提供访问。)
查看hdfs可以这样查看:
hdfs dfs -ls
hdfs dfs -ls /
hdfs dfs -ls hdfs://ip:9000/
如果NN1挂掉了,我们切换到NN2,难道我们还要手动修改: hdfs://ip2:9000/吗?
这个时候我们抛出一个概念:无感知的:(命名空间:nameservice1 CDH
生产上:dw)

3.命名空间:
在这里插入图片描述

1
如上图所示:命名空间 RUOZEG6 不是一个进程,当我们输入命令:hdfs dfs -ls hdfs://RUOZEG6/这个命令时,他会去找 core-size.xml 和 hdfs-site.xml这两个配置文件,这两个配置文件里配置了 hadoop001和hadoop002这两台机器挂在了 命名空间下面,它会去尝试连接第一台机器,如果第一台不是active,那么他会去连第二台机器。

本文标题:关于 HDFS和Yarn HA 的了解

文章作者:skygzx

发布时间:2019年04月07日 - 12:15

最后更新:2019年04月07日 - 19:46

原始链接:http://yoursite.com/2019/04/07/关于 HDFS和Yarn HA 的了解/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

-------------本文结束感谢您的阅读-------------
0%